import requests
from lxml import etree

start_url = 'https://zhanjiang.58.com/sale.shtml'
url_host = 'http://zhanjiang.58.com'

# def get_channel_urls(url):
#     html = requests.get(url)
#     selector = etree.HTML(html.text)
#     infos = selector.xpath('//div[@class="lbsear"]/div/ul/li')
#     for info in infos:
#         class_urls = info.xpath('ul/li/b/a/@href')
#         for class_url in class_urls:
#             print(url_host + class_url)
#
# get_channel_urls(start_url)

channel_list = '''
                http://zhanjiang.58.com/shouji/
                http://zhanjiang.58.com/tongxunyw/
                http://zhanjiang.58.com/danche/
                http://zhanjiang.58.com/diandongche/
                http://zhanjiang.58.com/fzixingche/
                http://zhanjiang.58.com/sanlunche/
                http://zhanjiang.58.com/peijianzhuangbei/
                http://zhanjiang.58.com/diannao/
                http://zhanjiang.58.com/bijiben/
                http://zhanjiang.58.com/pbdn/
                http://zhanjiang.58.com/diannaopeijian/
                http://zhanjiang.58.com/zhoubianshebei/
                http://zhanjiang.58.com/shuma/
                http://zhanjiang.58.com/shumaxiangji/
                http://zhanjiang.58.com/mpsanmpsi/
                http://zhanjiang.58.com/youxiji/
                http://zhanjiang.58.com/ershoukongtiao/
                http://zhanjiang.58.com/dianshiji/
                http://zhanjiang.58.com/xiyiji/
                http://zhanjiang.58.com/bingxiang/
                http://zhanjiang.58.com/jiadian/
                http://zhanjiang.58.com/binggui/
                http://zhanjiang.58.com/chuang/
                http://zhanjiang.58.com/ershoujiaju/
                http://zhanjiang.58.com/yingyou/
                http://zhanjiang.58.com/yingeryongpin/
                http://zhanjiang.58.com/muyingweiyang/
                http://zhanjiang.58.com/muyingtongchuang/
                http://zhanjiang.58.com/yunfuyongpin/
                http://zhanjiang.58.com/fushi/
                http://zhanjiang.58.com/nanzhuang/
                http://zhanjiang.58.com/fsxiemao/
                http://zhanjiang.58.com/xiangbao/
                http://zhanjiang.58.com/meirong/
                http://zhanjiang.58.com/yishu/
                http://zhanjiang.58.com/shufahuihua/
                http://zhanjiang.58.com/zhubaoshipin/
                http://zhanjiang.58.com/yuqi/
                http://zhanjiang.58.com/tushu/
                http://zhanjiang.58.com/tushubook/
                http://zhanjiang.58.com/wenti/
                http://zhanjiang.58.com/yundongfushi/
                http://zhanjiang.58.com/jianshenqixie/
                http://zhanjiang.58.com/huju/
                http://zhanjiang.58.com/qiulei/
                http://zhanjiang.58.com/yueqi/
                http://zhanjiang.58.com/kaquan/
                http://zhanjiang.58.com/bangongshebei/
                http://zhanjiang.58.com/diannaohaocai/
                http://zhanjiang.58.com/bangongjiaju/
                http://zhanjiang.58.com/ershoushebei/
                http://zhanjiang.58.com/chengren/
                http://zhanjiang.58.com/nvyongpin/
                http://zhanjiang.58.com/qinglvqingqu/
                http://zhanjiang.58.com/qingquneiyi/
                http://zhanjiang.58.com/chengren/
                http://zhanjiang.58.com/xiaoyuan/
                http://zhanjiang.58.com/ershouqiugou/
                http://zhanjiang.58.com/tiaozao/
                http://zhanjiang.58.com/tiaozao/
                http://zhanjiang.58.com/tiaozao/
                '''